When Users Change Their Minds: Measuring and Repairing Intent Drift in LLM Agents
当用户改变主意:LLM Agent 的意图漂移测量与修复
🧭 Agent 意图状态维护与多轮任务评测 ★ 深度解读
HKUST · CUHK · LIGHTSPEED
构建可控意图漂移基准 INTENTFLUX,提出显式状态折叠 StateForge 显著修复多轮任务性能下降
📌 工作参考价值(4 点)
- 多轮购物/搜索助手场景:用户会持续改条件(价格、品牌、词槽)或撤回约束,直接拼历史容易让已撤销的筛选条件污染推荐结果。可在生成前用一个轻量 tracker 维护“当前有效意图状态”,对每个条件做 ADD/DELETE/REPLACE,且同时删除依赖该条件的推导结论(如“预算升高导致推荐高端品”),再输入生成模型。
- 工程上不必用主力大模型做状态追踪:9B tracker 已与 122B 无统计差异;2B tracker 经 on-policy distillation 能从 0.266 提到 0.445。在电商 Agent 架构中可以把意图状态维护拆成小参数模块,降低成本与延迟。
- 评测/回归验证时,务必避免在收尾轮次重述最终意图,否则会掩盖 drift 缺陷;可借鉴 clean vs drift 配对、CAR/IDG 指标,以及长度匹配无漂移对照,逼出真实的多轮意图追踪能力。
- 压缩/摘要式 history management(滚动摘要、两阶段压缩)对意图漂移不可靠;如果业务中有多轮查询改写/约束增删,应优先考虑显式状态折叠,而不是依赖通用 long-context 或摘要。